Tháng 01 năm 1833, sau sắc lệnh cấm đạo toàn quốc, ông có thêm người bạn đồng hành. Đó là linh mục Odorico Phương thuộc dòng Phanxicô vừa mới bị bắt. Sau đó, vua Minh Mạng truyền xử tử hai linh mục này. Nhưng nhờ sự can thiệp của Nhân Tuyên Hoàng thái hậu bản án được chuyển thành đày chung thân tại Lao Bảo (ở biên giới Lào). Cuộc sống vất vả, đói kém và mắc phải bệnh sốt rét ác tính nên cha Odorico Phương mất tại đây.

Tháng 9 năm 1835, vua Minh Mạng đưa cha Phan về giam ở Cam Lộ, Quảng Trị để làm giáo sư cho sáu thanh niên học tiếng Pháp nhưng nhà vua cấm họ trao đổi về đạo. Năm 1838, khi triệt phá chủng viện An Ninh, giám đốc Candalk Kim chạy thoát. Vua bực tức nên ngày 07 tháng 3 ra lệnh bắt ông hỏi cung rồi giải về Quảng Trị.

Ngày 18 tháng 7 năm 1838, cha Phan được giam chung với chủng sinh Tôma Thiện. Ngày 21 tháng 9 năm 1838, quan lính dẫn hai người đến một ngọn đồi ở làng Nhan Biều (Quảng Trị). Theo đề nghị của ông, ông muốn Tôma Thiện chết trước, nên quân lính chấp nhận giải quyết cho nguyện vọng chính đáng này và đã xử Tôma Thiện trước. Sau đó, vòng dây qua cổ vị hai người rồi kéo mạnh hai đầu. Xác hai người được chôn ngay tại pháp trường và năm 1847 được cải táng về chủng viện Thừa Sai Paris.